Rotor Sandwichとは
Rotor Sandwichとは、RotorQuantをTransformerブロックに組み込む際の配置手法
読み: ローターサンドイッチ
RotorQuantをTransformerブロックに組み込む際の配置手法。量子化の前後にクリフォード代数の回転を挟むことで、データの幾何学的整合性を維持しながら3ビット圧縮を実現する。
かんたんに言うと
量子化という「具」を、2つの回転という「パン」で挟むサンドイッチ。上のパンでデータを整え、具で圧縮し、下のパンで元の意味空間に戻す。
Pre-rotation → 量子化 → Post-rotation
圧縮直前にクリフォード代数の回転でアウトライヤーを分散させる。均一化されたデータを3ビットに圧縮。圧縮後に逆回転をかけて元の空間に戻す。データの多次元的な角度を壊さずに圧縮できるため、LLMの推論ロジックが維持される。
計算コストの相殺とハルシネーション抑制
クリフォード代数の性質により、上下の回転計算をTransformerの重み行列と合体させられる。サンドイッチにしているのに計算オーバーヘッドがほとんど増えない。
特定次元へのエラー集中を防ぐため、回答が突然支離滅裂になるハルシネーションのリスクを物理レベルで低減する。3ビット圧縮時の精度低下を従来の半分以下に抑えたベンチマークが報告されている。
SpinQuantとの関係
の概念はSpinQuant（ICLR 2025）で体系化された。SpinQuantはLLaMA-2 7Bモデルで4ビット量子化時の精度低下をわずか2.9ポイントに抑え、LLM-QATを19.1ポイント、SmoothQuantを25.0ポイント上回った。回転によって活性化値の外れ値を除去し、量子化の精度を向上させる。
実装の選択肢
Hadamard回転を使うSpinQuantHad、独立ギブンス回転を使うParoQuant、分布制約付きのDartQuantなど、複数の実装が存在する。どれを選ぶかは、量子化するモデルのサイズ、ターゲットハードウェア、許容する精度低下の範囲で決まる。1つの方式が全てのケースで最適ということはない。
導入時の注意点
回転操作自体にも計算コストがかかる。推論時にPre-rotationとPost-rotationの2回の変換が必要なため、量子化による高速化の一部が相殺される。モデルサイズが小さい場合（3B以下）、回転のオーバーヘッドが相対的に大きくなり、効果が出にくい。7B以上のモデルで効果が顕著になる。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。